Rachmaninoff sinh ngày 1 tháng 4 năm 1873 tại Novgorod, tây bắc nước Nga, trong một gia đình quý tộc hậu duệ của người Tatar đã phục vụ Sa hoàng từ thế kỷ 16. Cha mẹ ông, đều là những pianist không chuyên, dạy ông piano từ khi lên 4. Năm 1882, ông nội Rachmaninoff, Arkady Alexandrovich Rachmaninoff, mời giảng viên Anna Ornatskaya từ Saint Petersburg đến dạy cho tới 2 năm sau, khi căn nhà được bán đi để trả nợ, và gia đình Rachmaninoff chuyển tới Saint Petersburg.

Rachmaninoff theo học tại Nhạc viện Saint Petersburg trước khi một mình tới Moscow theo học tại Nhạc viện hoàng gia Moscow, khi đó ông 14 tuổi. Lớp ông theo học gồm có cả Josef Lhévinne và Alexander Scriabin. Nhờ sự sắp xếp của gia đình, ông sống tại nhà của Nikolai Zverev, giáo viên piano của mình, người mà, ông thừa nhận sau này, đã làm chàng trai lười biếng thấm nhuần thói quen làm việc nghiêm túc.

Chàng trai trẻ Rachmaninoff khi đó đã thể hiện khả năng tuyệt vời của mình trong cả ngành Piano lẫn ngành Sáng tác (giảng viên là Anton Arensky), và khi còn là sinh viên, vở opera ông viết, Aleko, đã đem lại cho ông giải xuất sắc trong ngành Sáng tác. Sau đó Rachmaninoff sáng tác tiếp bản Piano concerto số 1 và tổ khúc piano Morceaux de fantaisie (Op.3, 1892). Tổ khúc trên bao gồm bản Prelude in C-sharp minor được bán rất chạy, và Rachmaninoff trở nên nổi tiếng cả ở Nga lẫn phương Tây. Tuy nhiên việc phải chơi lại bản Prelude đó quá nhiều vì khán giả yêu cầu diễn thêm sau mỗi buổi diễn làm ông mệt mỏi. Thậm chí những năm sau đó khi được khán giả yêu cầu "encore", đôi khi ông phải khăng khăng rằng không thể nhớ bài đó! Cho dù vậy, sau này ông viết thêm 2 bộ Prelude nữa, hoàn tất bộ 24 Preludes của mình.

Nikolai Zverev dần dần không thể đáp ứng đủ nguyện vọng trở thành nhà soạn nhạc của Rachmaninoff, sau đó ông theo học Alexander Siloti, một trong những học trò xuất sắc của Franz Liszt

Sau khi tốt nghiệp Nhạc viện, Rachmaninoff gặp nhà soạn nhạc Tchaikovsky, sau này ông trở thành người hướng dẫn và góp ý cho Rachmaninoff. Tchaikovsky giao cho chàng thanh niên Rachmaninoff chuyển soạn lại bản ballet The sleeping beauty sang piano. Ban đầu công việc này được đề nghị với Siloti nhưng ông từ chối và gợi ý rằng Rachmaninoff mới là người thích hợp. Sau đó ông xem lại và góp ý cho bản chuyển soạn của Rachmaninoff, một trong số rất nhiều những bản chuyển soạn rất đẹp được Rachmaninoff viết trong sự nghiệp của mình.